技術問答
技術文章
iT 徵才
聊天室
2026 鐵人賽
登入/註冊
問答
文章
Tag
邦友
鐵人賽
搜尋
DAY
17
0
Azure 30天
系列 第
17
篇
Day 17. Hive on Emulator
鐵人賽
wtc
2014-10-17 22:15:18
2061 瀏覽
分享至
先依照上次的說明啟動本機hadoop services. (start_local_hdp_services)
由於Hive沒有類似insert into帶values的指令, 因此需要用匯入的方式, 用簡單的範例, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin再執行hive, 接著輸入 create table test(name string);
在相同的bin資料夾下建立一個簡單的demo.txt, 只有兩行資料
再開另外一個hadoop command line, 到相同bin資料夾下輸入hadoop fs -copyFromLocal demo.txt /hive/warehouse/test匯入文字檔
5. 回到原先Hive視窗, select * from test就可看到那兩行文字
接著照著Tutorial實作
http://azure.microsoft.com/en-us/documentation/articles/hdinsight-get-started-emulator/#scenarios
執行hadoop command line, 切換目錄到c:\hdp\GettingStarted, 執行以下指令產生範例文檔並匯入至模擬器
powershell -File importdata.ps1 w3c -ExecutionPolicy unrestricted
可用以下指令檢視並確認資料有匯入
hadoop fs -ls -R /w3c
或是從流覽器檢視/w3c/input資料夾
這個檔案基本上就是access request log
為了等一下方便執行, 先複製C:\hdp\GettingStarted\Hive\w3c下的 w3ccreate.hql & w3ctotalhitsbypage.hql
貼到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin下, 這樣等等就不用打一長串的路徑
將著在hadoop command line視窗, 先切換到C:\hdp\hive-0.13.0.2.1.3.0-1981\bin, 再輸入以下指令建立Hive Table跟匯入資料
hive.cmd -f w3ccreate.hql -hiveconf "input=/w3c/input/small/data_w3c_small.txt"
再執行以下指令即可看到結果, 也會看到一個Job ID. 最後列出模擬資料庫的點擊率
hive.cmd -f w3ctotalhitsbypage.hql
使用YARN status也可看到Job ID 0001執行成功
留言
追蹤
檢舉
上一篇
Day 16. Azure HDInsight Emulator
下一篇
Day 18. MS SQL & Hive的連結
系列文
Azure 30天
共
30
篇
目錄
RSS系列文
訂閱系列文
5
人訂閱
26
Day 26. Azure SQL 複製, 匯入與匯出
27
Day 27. Azure SQL 同步機制
28
Day 28. Azure Schedule Job
29
Day 29. Azure 附加元件
30
Day 30. My Azure Girl
完整目錄
熱門推薦
{{ item.subject }}
{{ item.channelVendor }}
|
{{ item.webinarstarted }}
|
{{ formatDate(item.duration) }}
直播中
立即報名
尚未有邦友留言
立即登入留言
iThome鐵人賽
參賽組數
902
組
團體組數
37
組
累計文章數
19860
篇
完賽人數
528
人
看影片追技術
看更多
{{ item.subject }}
{{ item.channelVendor }}
|
{{ formatDate(item.duration) }}
直播中
熱門tag
15th鐵人賽
16th鐵人賽
13th鐵人賽
14th鐵人賽
17th鐵人賽
12th鐵人賽
11th鐵人賽
鐵人賽
2019鐵人賽
javascript
2018鐵人賽
python
2017鐵人賽
windows
php
c#
linux
windows server
css
react
熱門問題
請益如何關閉Windows的登入畫面?
事件檢視器應用-2
在上海使用 Fortigate 的IPSEC VPN
熱門回答
請益如何關閉Windows的登入畫面?
在上海使用 Fortigate 的IPSEC VPN
熱門文章
[POG-08] 破除迷思:Prompt Orchestration Governance(POG) 常見問題 (FAQ) 大解析
當我的AI助手住進雲端:我的生活變了, 使用Clawdbot + Linode一周感受
新手疑問:如何學習寫韌體
什麼是BI(商業智慧)?企業如何利用BI提升效能
AI 時代,我們為什麼比過去更需要軟體工程師?解析 Vibe Coding 的虛與實
IT邦幫忙
×
標記使用者
輸入對方的帳號或暱稱
Loading
找不到結果。
標記
{{ result.label }}
{{ result.account }}